#Semantic Router

Wey Gu 古思为

3周前

vLLM 社区开了新的项目👍🏻 ： Semantic Router，router 不只是 Mixture of Models 的单独 Chat Completion 的 auto model，还有空间做不少别的花活（Prompt guard，PII mask）

#vLLM #Semantic Router #auto model #Prompt guard #PII mask